Phan Kim Cân được sinh ra trong một gia tộc giàu nứt đố đổ vách xứ Bạc Liêu [4]. Công tử Cân có ông nội là Bá hộ Bì (tên thật là Phan Hộ Biết). Phan Hộ Biết được xem là "Vua lúa gạo", "Vua muối" tỉnh Bạc Liêu [2].

Công tử Cân lấy bà bà Sáu Đông là em con cô ruột làm vợ cả (bà Sáu Đông là con của bà Phan Thị Muồi và Trần Trinh Trạch, cháu ngoại ông Phan Hộ Biết). Mối tình loạn luân này đã không được Trần gia chấp nhận [2][4].

Năm 1936, Phan Kim Cân đã có cảm tình với cách mạng và hoạt động trong một đoàn thể do Việt Minh vận động thành lập. Sau đó ông chính thức tham gia Việt Minh. Phan Kim Cân đã rũ bỏ vàng son để theo cách mạng ra bưng biền trường kỳ kháng chiến. Khi lực lượng cách mạng xuống tàu tập kết ra Bắc, Phan Kim Cân đã đưa con trai mình là Phan Kim Sơn cùng đi theo tập kết [2][4].